发行注记
Red Hat Ceph Storage 5.0z4 发行注记
摘要
使开源包含更多 复制链接链接已复制到粘贴板!
红帽承诺替换我们的代码、文档和网页属性中存在问题的语言。我们从这四个术语开始: master、slave、blacklist 和 whitelist。这些更改将在即将发行的几个发行本中逐渐实施。有关更多详情,请参阅我们的首席技术官 Chris Wright 提供的消息。
提供有关 Red Hat Ceph Storage 文档的反馈 复制链接链接已复制到粘贴板!
我们感谢您对文档提供反馈信息。请让我们了解如何改进文档。要做到这一点,创建一个 Bugzilla ticket:
+ .进入 Bugzilla 网站。在组件下拉列表中,选择 Documentation。在 Sub-Component 下拉菜单中,选择适当的子组件。选择相应的文档版本。在 Summary 和 Description 字段中填写您要改进的建议。包括文档相关部分的链接。可选:添加一个附件(若有)。点 Submit Bug。
第 1 章 简介 复制链接链接已复制到粘贴板!
Red Hat Ceph Storage 是一个可大规模扩展、开放、软件定义的存储平台,它将最稳定版本的 Ceph 存储系统与 Ceph 管理平台、部署实用程序和支持服务相结合。
Red Hat Ceph Storage 文档位于 https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5。
第 2 章 致谢 复制链接链接已复制到粘贴板!
Red Hat Ceph Storage 版本 5.0 包含 Red Hat Ceph Storage 团队的许多贡献。此外,Ceph 社区中个人和组织的贡献质量和数量有显著的增长。我们借此感谢 Red Hat Ceph Storage 团队的所有成员、Ceph 社区中的所有个人贡献者,并且包括但不限于:
- Intel®
- Fujitsu ®
- UnitedStack
- Yahoo ™
- Ubuntu Kylin
- Mellanox ®
- CERN ™
- Deutsche Telekom
- Mirantis ®
- SanDisk ™
- SUSE Linux® 企业服务器(SLES)
第 3 章 新功能 复制链接链接已复制到粘贴板!
本节列出了本 Red Hat Ceph Storage 版本中引入的所有主要更新、增强功能和新功能。
这个版本添加的主要功能是:
容器化集群
Red Hat Ceph Storage 5 仅支持容器化守护进程。它不支持非容器化存储集群。如果您要将非容器化存储集群从 Red Hat Ceph Storage 4 升级到 Red Hat Ceph Storage 5,升级过程包括转换为容器化部署。
如需更多信息,请参阅 Red Hat Ceph Storage 安装指南中的将 Red Hat Ceph Storage 集群从 RHCS 4 升级到 RHCS 5 部分。
Cephadm
Cephadm 是一款全新的容器化部署工具,可通过从管理器守护进程连接到主机来部署和管理 Red Hat Ceph Storage 5.0 集群。
cephadm实用程序取代了 Red Hat Ceph Storage 部署的ceph-ansible。Cephadm 的目标是为运行 Red Hat Ceph Storage 提供功能全面、功能强大和安装良好的管理层。cephadm命令管理 Red Hat Ceph Storage 集群的完整生命周期。从 Red Hat Ceph Storage 5.0 开始,
ceph-ansible不再被支持,并与产品不兼容。迁移到 Red Hat Ceph Storage 5.0 后,您必须使用cephadm和cephadm-ansible来执行更新。cephadm命令可以执行以下操作:- 引导新的 Ceph 存储集群。
- 启动与 Ceph 命令行界面 (CLI) 搭配使用的容器化 shell。
有助于调试容器化守护进程.
cephadm命令使用ssh与存储集群中的节点通信,并添加、删除或更新 Ceph 守护进程容器。这样,您无需使用外部工具即可添加、删除或更新 Red Hat Ceph Storage 容器。cephadm命令有两个主要组件:-
cephadmshell 在容器内启动bashshell。这可让您运行存储集群安装和设置任务,并在容器中运行ceph命令。 cephadm编配器命令允许您调配 Ceph 守护进程和服务,并扩展存储集群。如需更多信息,请参见 Red Hat Ceph Storage 安装指南。
管理 API
管理 API 创建的管理脚本适用于 Red Hat Ceph Storage 5.0,并在版本生命周期中保持不变。不兼容的 API 版本控制只会在发生在不同的主发行版本中。
如需更多信息,请参阅 Red Hat Ceph Storage 开发人员指南。
断开连接的 Red Hat Ceph Storage 安装
Red Hat Ceph Storage 5.0 支持在专用网络上断开连接的安装和引导存储集群。断开连接的安装使用自定义镜像和配置文件以及本地主机,而不是从网络下载文件。
您可以安装从可以访问红帽 registry 的代理主机下载的容器镜像,或将容器镜像复制到本地 registry。bootstrap 过程需要一个规格文件,用于标识要按名称和 IP 地址添加的主机。启动初始监控主机后,您可以使用 Ceph 编配器命令来扩展和配置存储集群。
如需了解更多详细信息,请参见 Red Hat Ceph Storage 安装指南。
Ceph 文件系统异地复制
从 Red Hat Ceph Storage 5 版本开始,您可以在不同的地理位置或不同站点之间复制 Ceph 文件系统 (CephFS)。新的
cephfs-mirror守护进程执行快照异步复制到远程 CephFS。如需了解更多详细信息,请参阅 Red Hat Ceph Storage 文件系统指南中的 Ceph 文件系统镜像部分。
新的 Ceph 文件系统客户端性能工具
自 Red Hat Ceph Storage 5 发行版起,Ceph 文件系统 (CephFS) 提供了类似
top的实用程序,可以实时在 Ceph 文件系统上显示指标。cephfs-top实用程序是一个基于curses的 Python 脚本,它使用 Ceph Managerstats模块来获取和显示客户端性能指标。如需了解更多详细信息,请参阅 Red Hat Ceph Storage 文件系统指南中的使用
cephfs-top实用程序 一节。使用 Red Hat Ceph Storage 仪表板监控 Ceph 对象网关多站点
Red Hat Ceph Storage 仪表板现在可用于监控 Ceph 对象网关多站点配置。
在使用
cephadm实用程序设置了多区后,一个区域的存储桶对其它区和其他站点可见。您还可以在仪表板上创建、编辑和删除存储桶。如需了解更多详细信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 仪表板中管理多站点对象配置的存储桶章节。
改进了 BlueStore 空间使用率
Ceph 对象网关和 Ceph 文件系统 (CephFS) 将小对象和文件作为单独的对象存储在 RADOS 中。在这个版本中,BluStore 的
min_alloc_size的 SSD 和 HDD 的默认值为 4 KB。这可以更好地利用空间,且不会影响性能。如需了解更多详细信息,请参见 Red Hat Ceph Storage 管理指南中的 OSD BlueStore 一章。
3.1. Cephadm 实用程序 复制链接链接已复制到粘贴板!
Red Hat Ceph Storage 现在可以自动调优 Ceph OSD 内存目标
在这个版本中,osd_memory_target_autotune 选项已被修复,并可以正常工作。用户可以启用 Red Hat Ceph Storage,以自动调优存储集群中的 Ceph OSD 内存目标,以提高性能,而无需明确为 Ceph OSD 设置内存目标。Red Hat Ceph Storage 通过评估可用内存以及节点上运行的守护进程,以每个节点设置 Ceph OSD 内存目标。
用户可以通过运行以下命令来为 Ceph OSD 启用内存自动调整功能:
ceph config set osd osd_memory_target_autotune true
ceph config set osd osd_memory_target_autotune true
3.2. Ceph 仪表板 复制链接链接已复制到粘贴板!
新的 Grafana 仪表板,用于显示 Ceph 对象网关多站点设置的图形
在这个版本中,增加了一个新的 Grafana 仪表板,并显示 Ceph 对象网关多站点同步性能的图表,包括双向复制吞吐量、轮询延迟和不成功复制。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中监控 Monitoring Ceph 对象网关守护进程。
Prometheus Alertmanager 规则在 Red Hat Ceph Storage Dashboard 上触发不同 MTU 设置的警报
在以前的版本中,必须使用命令行界面识别和管理 MTU 设置中的不匹配(这是常见网络问题的原因)。在这个版本中,当某个节点或临时节点具有与大多数节点不同的 MTU 设置时,会在 Red Hat Ceph Storage 仪表板上触发警报。用户可以修改警报,或修复 MTU 不匹配的设置。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 仪表板中管理警报章节。
Red Hat Ceph Storage Dashboard 上的用户和角色管理
在这个版本中,用户和角色管理已经可用。通过它,管理员可以定义精细的基于角色的访问控制 (RBAC) 策略,供用户在 Ceph 集群中创建、更新、列出和删除 OSD。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 仪表板中管理角色章节。
Red Hat Ceph Storage Dashboard 现在支持 RBD v1 镜像
在以前的版本中,Red Hat Ceph Storage Dashboard 只显示并支持 RBD v2 格式镜像。
在这个版本中,用户可以通过将 RBD_FORCE_ALLOW_V1 设置为 1,管理和将其 v1 RBD 镜像迁移到 v2 RBD 镜像。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 仪表板中管理块设备章节。
用户可以在 Red Hat Ceph Storage Dashboard 中替换失败的 OSD
在这个版本中,用户可以通过在 Red Hat Ceph Storage 仪表板上保留 OSD 的 OSD_ID 来识别和替换失败的 OSD。
如需了解更多详细信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 中替换故障 OSD 部分。
在 Red Hat Ceph Storage 仪表板上创建 Ceph 对象网关存储桶时指定放置目标
在这个版本中,在 Red Hat Ceph Storage Dashboard 上创建 Ceph Object Gateway bucket 时,用户可以指定放置目标。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中创建 Monitoring Ceph 对象网关存储桶。
Red Hat Ceph Storage Dashboard 上启用了 Multi-Factor Authentication 删除功能
在这个版本中,用户可以在 Red Hat Ceph Storage Dashboard 上为来自 Ceph 集群的特定存储桶启用多 Factor 身份验证删除 (MFA)。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中编辑 Monitoring Ceph 对象网关存储桶。
Red Hat Ceph Storage Dashboard 上启用了特定存储桶的存储桶版本控制功能
在这个版本中,用户可以在 Red Hat Ceph Storage Dashboard 上为特定存储桶启用存储桶版本控制。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中编辑 Monitoring Ceph 对象网关存储桶。
Red Hat Ceph Storage Dashboard 上启用了 Ceph Object Gateway bucket 的对象锁定功能
在这个版本中,用户可以在 Red Hat Ceph Storage Dashboard 上为 Ceph Object Gateway bucket 启用对象锁定。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中创建 Monitoring Ceph 对象网关存储桶。
Red Hat Ceph Storage 仪表板带有垂直导航栏
在这个版本中,垂直导航栏可用。Red Hat Ceph Storage Dashboard 菜单上的心跳图标会根据绿色、黄色和红色的集群状态更改颜色。Cluster>Monitoring 和 Block> 镜像等其他菜单显示一个带颜色的图标,其中显示了该特定组件中的警告数量。
Red Hat Ceph Storage 仪表板的"box"页面显示详细信息
在这个版本中,Red Hat Ceph Storage 仪表板的"box"页面显示 Ceph 版本、ceph-mgr 运行的主机名、用户名、角色和浏览器详细信息。
浏览器 favicon 显示红帽徽标,其中包含更改集群健康状况的图标
在这个版本中,浏览器 favicon 会显示红帽徽标,其中包含一个根据集群健康状态(绿色、黄色或红色)改变颜色的图标。
Red Hat Ceph Storage Dashboard 的错误页面可以正常工作
在这个版本中,Red Hat Ceph Storage Dashboard 的错误页面已被修复,可以正常工作。
用户可以在 Red Hat Ceph Storage Dashboard 上查看 Cephadm 工作流
在这个版本中,Red Hat Ceph Storage 会显示有关清单的更多信息,如 Ceph 编配器中定义的节点和服务,如容器相关信息。Red Hat Ceph Storage 仪表板也允许用户管理 Ceph 集群上的主机。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在仪表板中监控 Ceph 集群中的主机。
用户可以在 Red Hat Ceph Storage Dashboard 上修改对象数和大小配额
在这个版本中,用户可以在 Red Hat Ceph Storage Dashboard 上为给定池设置和修改对象数和大小配额。
如需更多信息,请参阅 Red Hat Ceph Storage 仪表板指南中的在 Ceph 仪表板中创建池章节。
用户可以在 Red Hat Ceph Storage Dashboard 上管理 Ceph 文件系统快照
在这个版本中,用户可以创建和删除 Ceph 文件系统 (CephFS) 快照,并在 Red Hat Ceph Storage 仪表板上设置和修改目录的配额。
增强了 Red Hat Ceph Storage Dashboard 的帐户和密码策略
在这个版本中,为了符合最佳安全标准,实施严格的密码和帐户策略。用户密码需要遵循一些可配置的规则。也可以将用户帐户设置为在指定时间后过期,或者在多次尝试失败后被锁定。
用户可以管理任何域、zonegroup 或 zone 上的用户和 bucket
在这个版本中,用户可以管理用户和 bucket,不仅管理默认区域,也管理他们配置的任何 realm、zone group 或 zone。
若要在红帽 Ceph 存储仪表板上管理多个守护进程,请参阅 Red Hat Ceph Storage 仪表板指南的在 Ceph 仪表板中管理多站点对象网关配置的 bucket。
用户可以在 Red Hat Ceph Storage 仪表板上直观地创建租户 S3 用户
在以前的版本中,可以使用用户友好的语法创建租户 S3 用户,该语法为 "tenant$user",而不是使用直观的单独输入字段。
在这个版本中,用户可以直观地创建租户 S3 用户,而无需在红帽 Ceph 存储仪表板上使用"tenant$user"。
Red Hat Ceph Storage Dashboard 现在支持主机管理
在以前的版本中,命令行界面用于管理 Red Hat Ceph Storage 集群中的主机。
在这个版本中,用户可以使用 Red Hat Ceph Storage 仪表板上的维护模式功能启用或禁用主机。
Red Hat Ceph Storage 仪表板上可以扩展或折叠嵌套表
在这个版本中,可以通过单击 Red Hat Ceph Storage Dashboard 上的行来扩展或折叠包含嵌套表的行。
3.3. Ceph 文件系统 复制链接链接已复制到粘贴板!
CephFS 客户端现在可以在由元数据服务器 (MDS) 阻止后重新连接。
在以前的版本中,Ceph 文件系统 (CephFS) 客户端会因为网络分区或其他瞬态错误而被 MDS 阻止。
在这个版本中,CephFS 客户端可以为每个客户端打开适当的配置重新连接到挂载,因为不需要手动重新挂载。
用户现在可以使用临时固定策略在 MDS 中自动分配子树
在这个版本中,通过引入高效的策略来固定子树,从而允许在元数据服务器 (MDS) 中自动分发子树,并消除用户对手动固定的干预,从而改进了导出页。
请参阅 Red Hat Ceph Storage 文件系统指南中的 临时固定策略部分。
mount.ceph 有一个额外的选项,即 restore_session=clean
在这个版本中,一个附加选项 restore_session=clean 被添加到 mount.ceph。使用此选项时,当客户端检测到元数据服务器 (MDS) 被元数据服务器 (MDS) 阻止后,它会自动重新连接到 Red Hat Ceph Storage 集群,并且挂载会自动恢复。
如需更多信息,请参阅 Ceph 存储文件系统指南的从 blocklist 部分中删除 Ceph 文件系统客户端。
在 Ceph 文件系统中异步创建和删除元数据操作
在这个版本中,Red Hat Enterprise Linux 8.4 内核会在 Red Hat Ceph Storage 集群中异步挂载文件创建和删除。通过避免这些系统调用的往返延迟而不会影响一致性,这提高了某些工作负载的性能。使用新的 -o nowsync 挂载选项启用异步文件创建和删除。
Ceph 文件系统 (CephFS) 现在为名为 mds_join_fs的 MDS 提供了配置选项
在这个版本中,当对元数据服务器 (MDS) 守护进程失败时,集群的监控器首选使用 mds_join_fs 的待机守护进程与文件系统名称与失败的 rank 相等。
如果不存在与文件系统 name 相同的 mds_join_fs 待机,它将最终选择非限定备用设备进行替换,或选择其他可用的待机作为最后的手段。
请参阅 Red Hat Ceph Storage 文件系统指南中的 文件系统关联性部分。
Ceph 文件系统间异步复制快照
在这个版本中,镜像模块(即管理器插件)提供了管理目录快照镜像接口。镜像模块负责为同步分配目录到镜像守护进程。目前,一个镜像守护进程受到支持,可以使用 cephadm 进行部署。
Ceph 文件系统 (CephFS) 支持通过 cephfs-mirror 工具将快照异步复制到远程 CephFS。镜像守护进程可以处理 Red Hat Ceph Storage 集群中多个文件系统的快照同步。通过镜像快照数据,然后在远程文件系统上创建具有相同名称的快照来同步快照,因为快照正在同步。
请参阅 Red Hat Ceph Storage 文件系统指南中的 Ceph 文件系统镜像部分。
cephfs-top 工具被支持
在这个版本中,引进了 cephfs-top 工具。
Ceph 提供了类似于 utility 的 top(1),用于实时显示各种 Ceph 文件系统 (CephFS) 指标。cephfs-top 是基于策展的 python 脚本,它使用 Ceph Manager 中的 stats 插件来获取和显示指标。
CephFS 客户端定期将各种指标转发到 Ceph 元数据服务器 (MDS),后者将这些指标转发到 MDS,以用于聚合。这些聚合的指标将转发到 Ceph 管理器以供使用。
指标分为两类:全局和每个 mds。全局指标代表文件系统的一组指标,如客户端读取延迟,而每个mds 指标则适用于特定的 MDS 等级,例如由 MDS 处理的子树数。
目前,全球指标会被跟踪和显示。cephfs-top 命令无法与多个 Ceph 文件系统可靠地工作。
请参阅 Red Hat Ceph Storage 文件系统指南中的使用 cephfs-top 实用程序 一节。
可以使用 mds_autoscaler 插件部署 MDS 守护进程
在这个版本中,提供了一个新的 ceph-mgr 插件, mds_autoscaler,它可根据 Ceph 文件系统 (CephFS) 要求部署元数据服务器 (MDS) 守护进程。启用后,mds_autoscaler 将根据 max_mds 的设置自动部署所需的备用设备并激活。
如需更多信息,请参阅 Red Hat Ceph Storage 文件系统指南中的使用 MDS 自动缩放器模块 一节。
Ceph 文件系统 (CephFS) 清理现在可以与多个活跃 MDS 搭配使用
在以前的版本中,用户必须设置参数 max_mds=1,并只等待一个活跃的元数据服务器 (MDS) 运行 Ceph 文件系统 (CephFS) 清理操作。
在这个版本中,无论 mds_max 的值如何,用户可以使用多个活跃 MDS 在排名 0 上执行清理。
如需更多信息,请参阅 Red Hat Ceph Storage 文件系统指南中的配置多个活跃元数据服务器守护进程 部分。
Ceph 文件系统快照现在可以使用 snap_schedule 插件调度
在这个版本中,增加了一个新的 ceph-mgr 插件,snap_schedule 现在可用于调度 Ceph 文件系统 (CephFS) 的快照。可以创建、保留快照,并自动收集垃圾回收。
3.4. 容器 复制链接链接已复制到粘贴板!
cephfs-mirror 软件包包含在 ceph-container ubi8 镜像中
在这个版本中,cephfs-mirror 软件包包含在 ceph-container ubi8 镜像中,以支持将 Ceph 文件系统 (CephFS) 快照镜像到远程 CephFS。配置 CephFS-mirror 的命令现已可用。
请参阅 Red Hat Ceph Storage 文件系统指南中的 Ceph 文件系统镜像部分。
3.5. Ceph 对象网关 复制链接链接已复制到粘贴板!
bucket 名称或 ID 在 radosgw-admin bucket stats 命令中受到支持。
在这个版本中,存储桶名称或 ID 可用作 radosgw-admin bucket stats 命令中的参数。bucket 统计报告非当前 bucket 实例,可用于调试 Ceph OSD 日志等大 OMAP 对象警告。
向 Ceph 对象网关的得分中添加六个新性能计数器
在这个版本中,Ceph 对象网关中提供了六个性能计数器。这些计数器通过 Ceph 对象网关生命周期系统的前台和后台处理报告对象过期和生命周期管理活动。lc_abort_mpu、lc_expire_current、lc_expire_noncurrent 和 lc_expire_dm 计数器允许估算对象到期。lc_transition_current 和 lc_transition_noncurrent 计数器提供生命周期转换的信息。
用户现在可以使用对象锁定在 S3 对象存储中实施类似 WORM 的功能
S3 对象锁定是支持 S3 对象存储中的 write-once-read-many (WORM) 功能的关键机制。在这个版本中,Red Hat Ceph Storage 5 支持 Amazon Web Services (AWS) S3 对象锁定数据管理 API,用户可以使用保留周期、法律保留和存储桶配置等对象锁定概念来实施类似于 WORM 的功能,作为自定义工作流覆盖数据删除权限的一部分。
3.6. RADOS 复制链接链接已复制到粘贴板!
Red Hat Ceph Storage 恢复了纠删代码 (EC) 池中可用的 OSD 较少
在以前的版本中,纠删代码 (EC) 大小为 k+m 的池至少需要 k+1 副本才能恢复。如果只提供 k 个副本,则恢复将无法完成。
在这个版本中,Red Hat Ceph Storage 集群现在可以在 EC 池中使用 k 或更多副本进行恢复。
有关纠删代码池的更多信息,请参见 Red Hat Ceph Storage 策略指南中的纠删代码池一章。
支持使用列系列进行 RocksDB 数据库分片
使用 BlueStore 管理工具时,目标是在压缩期间减少读写放大、减少数据库 (Database) 扩展,同时提高 IOPS 性能。
在这个版本中,您可以使用 BlueStore 管理工具重新定义数据库。RocksDB (DB) 数据库中的数据分割为多个 Column Families (CF)。每个 CF 都有自己的选项,其分割则根据 omap、对象数据、延迟缓存写入和 PGlog 等数据类型来执行。
有关重新划分的更多信息,请参见 Red Hat Ceph Storage 管理指南 中的使用 BlueStore 管理工具重新划分 RocksDB 数据库 章节。
可以为 Ceph 监控器启用 mon_allow_pool_size_one 配置选项
在这个版本中,用户可以启用配置选项 mon_allow_pool_size_one。启用后,如果用户想要将池大小配置为 1,用户可以在 osd pool set size 1 中使用 --yes-i-really-mean-it 标志。
osd_client_message_cap 选项已添加回
在以前的版本中,osd_client_message_cap 选项已被删除。在这个版本中,osd_client_message_cap 选项已被重新引入。此选项有助于通过限制这些请求来控制容器内客户端请求的最大数量。当 Ceph OSD 因大量基于客户端的流量而导致的阻塞时,这样做非常有用。
Ceph 消息传递协议现已更新为 msgr v2.1。
在这个版本中,将实施 Ceph 消息传递协议 msgr v2.1 的新版本,解决了上一版本 msgr v2.0 的几个安全性、完整性和潜在性能问题。现在,守护进程和客户端的所有 Ceph 实体默认为 msgr v2.1。
新的默认的 osd_client_message_cap 值是 256
在以前的版本中,osd_client_message_cap 的默认值为 0。默认值 0 可禁用 Ceph OSD 的流控制功能,且不会阻止 Ceph OSD 在大型客户端流量期间进行流动。
在这个版本中,osd_client_message_cap 的默认值为 256,它通过限制flight 客户端请求的最大数量来提供更好的流控制。
添加了 set_new_tiebreaker 命令
在此发行版本中,存储管理员可以在以扩展模式运行时设置一个新的绑定破坏 Ceph Monitor。如果绑定中断失败且无法恢复,此命令会很有用。
3.7. RADOS 块设备 (RBD) 复制链接链接已复制到粘贴板!
改进了 librbd small I/O 性能
在以前的版本中,在基于 NVMe 的 Ceph 集群中,内部线程架构存在限制,导致单个 librbd 客户端难以达到 20K 4KiB IOPS。
在这个版本中,librbd 切换到新的基于 ASIO 的 neorados API 上的异步响应器模型,从而潜在地将小 I/O 吞吐量增加几倍并降低延迟。
构建用于清除过期 RBD 镜像的调度
在以前的版本中,存储管理员可以为 rbd trash purge 命令设置类似 cron 的作业。
在这个版本中,内置的计划可用于清除过期的 RBD 镜像。rbd trash purge schedule add 和相关的命令可用于配置 RBD 垃圾箱,以根据定义的调度自动清除过期的镜像。
如需更多信息,请参阅 Red Hat Ceph Storage 块设备指南中的定义自动垃圾回收调度一节。
使用新的 ceph-immutable-object-cache 守护进程提供不可变对象的读取
在这个版本中,新的 ceph-immutable-object-cache 守护进程可以部署到虚拟机监控程序节点上,为不可变对象(如父镜像快照)的读取提供服务。新的 parent_cache librbd 插件在每个从父镜像读取时与 守护进程协调,根据需要将结果添加到缓存中。如果多个虚拟机同时共享金级镜像,这可以减少延迟。
如需更多信息,请参阅 Red Hat Ceph Storage Block device 指南 中的管理 `ceph-immutable-object-cache` 守护进程一章。
支持在基于 librbd 的客户端中发送压缩或不可压缩的提示
在以前的版本中,无论数据是压缩还是不可压缩,都无法提示底层 OSD 对象存储后端。
在这个版本中,可以使用 rbd_compression_hint 配置选项向底层 OSD 对象存储后端提示数据是压缩还是不压缩。这可以按镜像、每个池或全局方式完成。
如需更多信息,请参阅 Red Hat Ceph Storage 块设备指南中的块设备输入和输出选项部分。
支持覆盖 librbd 客户端中的 read-from-replica 策略
在以前的版本中,无法限制DC/AZ 网络流量,因为当集群跨越数据中心扩展时,Primary OSD 可能会与 PG 中的其他 OSD 相比具有较高的延迟和成本链接。
在这个版本中,rbd_read_from_replica_policy 配置选项现已可用,可用于发送读取到随机 OSD 或 PG 中最接近的 OSD,如 CRUSH map 以及 CRUSH 层次结构中的客户端位置所定义。这可以按镜像、每个池或全局方式完成。
如需更多信息,请参阅 Red Hat Ceph Storage 块设备指南中的块设备输入和输出选项部分。
在线重新解析 RBD 镜像
在以前的版本中,为在底层 OSD 对象存储中分配为零且已完全分配的镜像扩展回收空间非常繁琐,容易出错。在这个版本中,新的 rbd sparsify 命令可用于扫描镜像的零数据区块,并在底层 OSD 对象存储中取消分配对应的范围。
ocf:ceph:rbd 集群资源代理支持命名空间
在以前的版本中,无法将 ocf:ceph:rbd 集群资源代理用于命名空间中存在的镜像。
在这个版本中,新的 pool_namespace 资源代理参数可用于处理命名空间中的镜像。
RBD 镜像可以立即导入
使用 rbd import 命令时,新镜像仅可在完全填充后使用。
在这个版本中,镜像实时迁移功能被扩展为支持外部数据源,并可用作 rbd import 的替代选择。新镜像可以链接到本地文件、通过 HTTP(S) 或远程 Amazon S3 兼容存储桶以 raw、qcow 或 qcow2 格式提供的远程文件,并可以立即使用。镜像填充为后台操作,可以在处于活动状态时使用时运行。
支持 librbd 中的 LUKS 加密
librbd 上的 QEMU LUKS 加密或 dm-crypt 内核模块的分层存在一个主要限制,即写时复制克隆镜像必须使用与其父镜像相同的加密密钥。在这个版本中,在 librbd 中包含了对 LUKS 加密的支持。新的"rbd encryption format"命令现在可以用于将镜像格式化为一个 luks1 或 luks2 加密格式。
3.8. RBD 镜像功能 复制链接链接已复制到粘贴板!
RBD 镜像基于快照的镜像
基于日志的镜像提供精细的崩溃一致性复制,代价是需要两次写入,每次更新镜像在修改实际镜像前都会首先记录到相关的日志中。
在这个版本中,除了基于日志的镜像功能外,还支持基于快照的镜像功能。它提供粗粒度崩溃一致性复制,其中镜像使用可以手动创建或定期创建的镜像快照进行镜像。所有客户端都支持这种模式,它需要一个不太严格的恢复点目标(RPO)。
3.9. iSCSI Gateway 复制链接链接已复制到粘贴板!
改进了 ceph status 输出中的 tcmu-runner 部分
在以前的版本中,每个 iSCSI LUN 单独列出会导致 ceph status输出变得混乱。
在这个版本中,ceph status 命令总结了报告,仅显示活动门户的数量和主机数量。
3.10. Ceph Ansible 实用程序 复制链接链接已复制到粘贴板!
cephadm-adopt.yml playbook 是幂等的
在这个版本中,cephadm-adopt.yml playbook 是幂等的,即 playbook 可以多次运行。如果 playbook 在第一次尝试中因任何原因失败,您可以重新运行 playbook,它可以按预期工作。
如需更多信息,请参阅 Red Hat Ceph Storage 安装指南中的使用 "ceph-ansible"从 Red Hat Ceph Storage 4 升级到 Red Hat Ceph Storage 5 部分。
-
现在,在升级过程中在升级过程中禁用了
pg_autoscaler和balancer模块,Red Hat Ceph Storage 在升级过程中不支持禁用pg_autoscaler和负载均衡器模块。这可能会导致放置组在升级过程中检查失败,因为pg_autoscaler继续调整放置组号。
在这个版本中,ceph-ansible 在升级 Ceph OSD 节点前禁用 pg_autoscaler 和 balancer 模块,然后在升级完成后重新启用它们。
改进 Ceph Ansible rolling_update.yml playbook
在以前的版本中,Ceph Ansible rolling_update.yml playbook 会在升级过程中检查容器镜像的 Ceph 版本要求。这会导致 playbook 在升级过程中失败。
在这个版本中,如果容器镜像不满足 Ceph 版本要求,则 rolling_update.yml playbook 早期会失败。
第 4 章 程序错误修复 复制链接链接已复制到粘贴板!
本节论述了在 Red Hat Ceph Storage 发行版本中修复的具有显著用户影响的错误。此外,部分还包括之前版本中发现的固定已知问题的描述。
4.1. Cephadm 实用程序 复制链接链接已复制到粘贴板!
ceph-volume 命令不阻止 OSD 和设备,并且按预期运行
在以前的版本中,ceph-volume 命令和 ceph-volume lvm list 及 ceph-volume inventory 类似, 它无法防止执行用于创建 OSD、列出设备和列出 OSD 的其他 ceph-volume 命令。
在这个版本中,这些命令的默认输出不会添加到 Cephadm 日志中,从而完成由 cephadm 二进制文件启动的容器中运行的所有 ceph-volume 命令。
搜索 Ceph OSD id 声明将主机的完全限定域名与主机名匹配
在以前的版本中,当替换失败的 Ceph OSD 时,CRUSH map 中的名称只显示为主机名,而搜索 Ceph OSD id 声明是使用完全限定域名(FQDN)的搜索。因此,找不到 Ceph OSD id 声明。在此发行版本中,Ceph OSD id 声明搜索功能可以正确地匹配主机名与主机名的 FQDN,而替换 Ceph OSD 可以正常工作。
ceph orch ls 命令可以正确地显示为给定服务运行的守护进程数
在以前的版本中,ceph 或ch ls --service-type SERVICE_TYPE 命令会错误地报告运行了 0 个守护进程的服务,用户就无法看到为特定服务运行多少个守护进程。在这个版本中,ceph 或ch ls --service-type SERVICE_TYPE 命令现在可以正确地显示为给定服务运行多少个守护进程。
用户无法再使用 cephadm删除 Ceph Manager 服务
在以前的版本中,如果用户运行 ceph 或ch rm mgr 命令,它会导致 cephadm 删除存储集群中的所有 Ceph Manager 守护进程,从而使存储集群无法访问。
在此发行版本中,尝试使用 ceph 或ch rm SERVICE_NAME命令删除 Ceph Manager、Ceph Monitor 或 Ceph OSD 服务会显示一个警告信息,表示它无法安全地删除这些服务,并导致执行任何操作。
node-exporter 和 alert-manager 容器版本已更新
在以前的版本中,当 Red Hat Ceph Storage 5.0 node-exporter 和 alert-manager 容器版本默认为 4.5 时,Red Hat Ceph Storage 5.0 node-exporter 和 alert-manager 容器版本默认为版本 4.5,并在 Red Hat Ceph Storage 4.2 中使用。
在这个版本中,使用 cephadm 命令,从 Red Hat Ceph Storage 5.0 升级到 Red Hat Ceph Storage 5.0z1 会导致 node-exporter 和 alert-manager 容器版本更新至版本 4.6。
4.2. Ceph 仪表板 复制链接链接已复制到粘贴板!
启用基于 Cookie 的安全会话来访问 Red Hat Ceph Storage Dashboard
在以前的版本中,将信息存储在 LocalStorage 中可以使浏览器中运行的所有会话访问 Red Hat Ceph Storage 仪表板,从而使仪表板易受 XSS 攻击。在这个版本中,LocalStorage 被安全基于 Cookie 的会话替代,因此会话 secret 仅适用于当前的浏览器实例。
4.3. Ceph 文件系统 复制链接链接已复制到粘贴板!
在收到不支持的指标时,MDS 守护进程不再崩溃
在以前的版本中,MDS 守护进程无法处理内核客户端中的新指标,从而导致 MDS 守护进程在收到任何不受支持的指标时崩溃。
在这个版本中,MDS 会丢弃任何不受支持的指标,并可按预期工作。
当存储集群已满时,允许删除数据
在以前的版本中,当存储集群已满时,Ceph 管理器会在读取配置文件时检查池权限。Ceph 元数据服务器(MDS)不允许在 Ceph OSD 满时进行写操作,从而导致 ENOSPACE 错误。当存储集群达到 full 比率时,用户无法使用 Ceph Manager 卷插件删除数据来释放空间。
在这个版本中,引入了新的 FULL 功能。借助 FULL 功能,Ceph 管理器将绕过 Ceph OSD 完整检查。client_check_pool_permission 选项默认禁用,而在以前的版本中,它已被启用。当 Ceph Manager 具有 FULL 功能时,MDS 不再阻止 Ceph 管理器调用。这会导致 Ceph Manager 在存储集群已满时删除子卷和快照来释放空间。
在处理来自 Ceph 文件系统客户端的身份验证请求时,Ceph 监控器不再崩溃
在以前的版本中,如果客户端没有查看旧文件系统的权限,Ceph 监视器会在处理来自客户端的身份验证请求时崩溃。这会导致 Ceph 监控器不可用。在这个版本中,代码更新修复了对旧文件系统身份验证请求的处理,并且身份验证请求可以正常工作。
修复的 KeyError 在 MGR 日志中出现几毫秒的问题
在以前的版本中,KeyError 被记录到 Ceph Manager 每几毫秒的日志。这是因为尝试从 client_metadata[in_progress] 字典中删除带有不存在的键的元素,从而导致一个 KeyError。因此,在日志中查找其他堆栈追踪非常困难。此发行版本修复了 Ceph 文件系统性能指标中的代码逻辑,以及 Ceph Manager 日志中的 KeyError 消息。
对于某些克隆状态,不再允许删除子卷克隆
在以前的版本中,如果您尝试删除使用 force 选项的子卷克隆,当克隆没有处于 COMPLETED 或 CANCELLED 状态时,克隆不会从索引跟踪正在进行的克隆中移除。这会导致对应的 cloner 线程无限期重试克隆,最终会导致一个 ENOENT 失败。当默认克隆线程数设置为 4 时,尝试删除四个克隆会导致所有四个线程进入 blocked 状态,以便没有待处理的克隆完成。
在这个版本中,除非克隆处于 COMPLETED 或 CANCELLED 状态,否则它不会被删除。克隆器线程不再阻止,因为克隆被删除,以及它们在索引中的条目跟踪正在进行的克隆。因此,待处理克隆可以继续按预期完成。
ceph fs 快照镜像守护进程状态 命令不再需要文件系统名称
在以前的版本中,用户需要至少一个文件系统名称给 ceph fs 快照镜像守护进程状态命令。在这个版本中,用户不再需要将一个文件系统名称指定为命令参数,守护进程状态会单独显示每个文件系统。
停止 cephfs-mirror 守护进程可能会导致未清除关闭
在以前的版本中,cephfs-mirror 进程会因为 cephfs-mirror 关闭过程中出现竞争条件而终止。在这个版本中,竞争条件被解析,因此 cephfs-mirror 守护进程可以安全地关闭。
Ceph 元数据服务器不再报告元数据损坏,失败警告
在以前的版本中,Ceph Monitor 在创建过程中为 standby-replay 守护进程分配了等级。此行为可能会导致 Ceph 元数据服务器(MDS)报告错误元数据损坏,以及失败警告。在这个版本中,Ceph Monitor 不再为创建过程中为待机 play 守护进程分配排名,从而消除错误元数据损坏和故障警告。
4.4. Ceph Manager 插件 复制链接链接已复制到粘贴板!
pg_autoscaler 模块不再报告失败的 op 错误
在以前的版本中,如果有任何池有 CRUSH 规则 step set_chooseleaf_vary_r 1,则 pg-autoscaler 模块会在尝试获取池状态时报告 op 的 KeyError。因此,Ceph 集群健康状态显示 HEALTH_ERR,带有 Module 'pg_autoscaler' has failed: op error。在这个版本中,只有带有 op 的步骤才会在获取池状态时迭代 CRUSH 规则,而 pg_autoscaler 模块不再报告失败的 op 错误。
4.5. Ceph 对象网关 复制链接链接已复制到粘贴板!
S3 生命周期过期标头功能按预期标识对象
在以前的版本中,在 GET 或 HEAD 请求中,一些没有生命周期过期的对象被错误地识别为因为将对象名称与存储的生命周期策略进行比较时功能逻辑错误导致生命周期过期。在这个版本中,S3 生命周期过期标头功能可以正常工作,并正确标识对象。
radosgw-admin user list 命令不再需要很长时间在 Red Hat Ceph Storage 集群 4 中执行
在以前的版本中,在 Red Hat Ceph Storage 集群 4 中,许多 radosgw-admin 命令的性能会受到影响,因为 rgw_gc_max_objs 配置变量的值显著提高(控制 GC 分片的数量)。这包括与 GC 无关的 radosgw-admin 命令。在这个版本中,在从 Red Hat Ceph Storage 集群 3 升级到 Red Hat Ceph Storage 集群 4 后,radosgw-admin user list 命令不再需要长时间来执行。只有需要 GC 操作的 radosgw-admin 命令的性能才会受到 rgw_gc_max_objs 配置的值的影响。
带有无效 Amazon 资源名称元素的策略不再会导致权限升级
在以前的版本中,当处理 IAM 策略文档(如存储桶策略)中的无效 Amazon 资源名称(ARN)元素时,可能会导致为不属于策略的用户授予非意外权限。在这个版本中,这个修复可防止使用无效的 ARN 元素存储策略,或者如果已存储,则可以正确地评估策略。
4.6. RADOS 复制链接链接已复制到粘贴板!
将 bluestore_cache_trim_max_skip_pinned 设置为 10000 可修剪对象的元数据
LRU (least recently used) 缓存用于对象的元数据。对缓存的修剪从最早访问的对象开始进行。固定的对象免于被驱除,这意味着它们仍然被 Bluestore 使用。
在以前的版本中,配置变量 bluestore_cache_trim_max_skip_pinned 控制了被调用的固定对象数量,因此清理过程会导致对象被长时间固定。当固定在 LRU 元数据缓存底部的对象数量大于 bluestore_cache_trim_max_skip_pinned 时,修剪缓存的操作没有完成。
在这个版本中,您可以将 bluestore_cache_trim_max_skip_pinned 设置为 10000,超过可能的元数据缓存计数。这会启用修剪,元数据缓存大小遵循配置设置。
将存储集群从 Red Hat Ceph Storage 4 升级到 5 完成,状态为 HEALTH_WARN
当将 Red Hat Ceph Storage 集群从之前支持的版本升级到 Red Hat Ceph Storage 5 时,升级过程完成后存储集群状态为 HEALTH_WARN,声明 monitor 允许不安全的 global_id 重新声明。这是因为一个补丁的 CVE,其详细信息包括在 CVE-2021-20288 中。
拒绝健康警告的建议:
-
通过检查
AUTH_INSECURE_GLOBAL_ID_RECLAIM警报的ceph health detail输出,识别尚未更新的客户端。 - 将所有客户端升级到 Red Hat Ceph Storage 5.0。
如果所有客户端没有立即升级,则可以临时静默健康警报:
语法
ceph health mute AUTH_INSECURE_GLOBAL_ID_RECLAIM 1w # 1 week ceph health mute AUTH_INSECURE_GLOBAL_ID_RECLAIM_ALLOWED 1w # 1 week
ceph health mute AUTH_INSECURE_GLOBAL_ID_RECLAIM 1w # 1 week ceph health mute AUTH_INSECURE_GLOBAL_ID_RECLAIM_ALLOWED 1w # 1 weekCopy to Clipboard Copied! Toggle word wrap Toggle overflow 当验证所有客户端都已更新,并且客户端不再存在 AUTH_INSECURE_GLOBAL_ID_RECLAIM 警报后,将
auth_allow_insecure_global_id_reclaim设置为false语法
ceph config set mon auth_allow_insecure_global_id_reclaim false
ceph config set mon auth_allow_insecure_global_id_reclaim falseCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
确保没有使用
AUTH_INSECURE_GLOBAL_ID_RECLAIM警报列出客户端。
RocksDB 刷新和压缩的触发条件可以正常工作
BlueStore 将数据以名为 blobs 的块(chunk)进行组织,其大小默认为 64K。对于大型写入,它被分成 64K blob 写入序列。
在以前的版本中,当延迟的大小等于或大于 blob 大小时,所有数据都会被延迟,并在"L"列中列出。一个典型的示例是 HDD 配置,其中 bluestore_prefer_deferred_size_hdd 和 bluestore_max_blob_size_hdd 参数的值都是 64K。这会更快地消耗"L"列,从而导致 RocksDB 刷新计数和压缩频率增加。在这种情况下触发条件是 data size in blob ⇐ minimum deferred size。
在这个版本中,延迟触发器条件会检查磁盘上扩展的大小,而不是 blob。小于 delay_size 的扩展会转到延迟机制,大的扩展会立即写入磁盘。触发器条件改为 data size in extent < minimum deferred size。
小的写操作位于"L"列下,此列的增长较慢,没有额外的紧凑。
bluestore_prefer_deferred_size 参数控制延迟而不受到 blob 大小的干扰,并根据其"写入小于这个大小"的描述工作。
Ceph Manager 在大量增大到 pg_num 和 pgp_num期间不再崩溃
在以前的版本中,调整放置组的代码无法正确处理 pg_num 和 pgp_num 参数,并在flow下导致一个可以崩溃 Ceph Manager 的整数。
在这个版本中,调整放置组的代码已被修复。因此,放置组的大量增加不会导致 Ceph Manager 崩溃。
4.7. RADOS 块设备 (RBD) 复制链接链接已复制到粘贴板!
librbd 代码遵循 CEPH_OSD_FLAG_FULL_TRY 标志
在以前的版本中,您可以使用 rados_set_pool_full_try() API 功能设置 CEPH_OSD_FLAG_FULL_TRY。在红帽 Ceph 存储 5 中,librbd 停止遵守此标志。这会在池已满或达到配额限制时导致写入操作一直等待空间,即使设置了 CEPH_OSD_FLAG_FULL_TRY。
在这个版本中,librbd 遵循 CEPH_OSD_FLAG_FULL_TRY 标志,并且设置时池会变得满或达到配额,写入操作会成功,或者因为 ENOSPC 或 QEDUOT 消息而失败。从完整或 at-quota 池移除 RADOS 块设备(RBD)镜像的功能将被恢复。
4.8. RBD 镜像功能 复制链接链接已复制到粘贴板!
rbd mirror 池对等 bootstrap 导入命令 的改进
在以前的版本中,运行 rbd mirror pool peer bootstrap import 命令会导致在不需要密钥环的情况下,记录缺少密钥环文件的错误。这可能会给站点管理员造成混淆,因为它看起来像因为缺少密钥环而失败。在这个版本中,当远程存储集群的密钥环不需要时,Crados 不再记录错误,如 bootstrap 令牌包含密钥时。
4.9. iSCSI Gateway 复制链接链接已复制到粘贴板!
gwcli 工具现在显示正确的纠删代码池配置集
在以前的版本中,gwcli 工具会显示纠删代码池的 k+m 值不正确。
在这个版本中,gw cli 工具从 关联的纠删代码 profile 和 Red Hat Ceph Storage 集群拉取来自纠删代码池设置的信息,Red Hat Ceph Storage 集群会显示正确的纠删代码池配置集。
使用配置了 iSCSI 配置的存储集群的升级现在可以正常工作
在以前的版本中,配置 iSCSI 的存储集群将会失败,因为最新的 ceph-iscsi 软件包没有已弃用的 ceph-iscsi-tools 软件包。
在这个版本中,ceph-iscsi-tools 软件包在 RPM 规格文件中被标记为过时,升级会如预期成功。
tcmu-runner 不再无法删除 "blocklist" 条目
在以前的版本中,tcmu-runner 会执行不正确的命令来删除 "blocklist" 条目,从而导致 iSCSI LUN 的性能降级。
在这个版本中,tcmu-runner 已被更新,在删除 blocklist 条目时执行正确的命令。blocklist 条目由 tcmu-runner 清理,iSCSI LUN 可以正常工作。
tcmu-runner 进程现在正常关闭
在以前的版本中,tcmu-runner 进程会错误地处理一个失败的路径,从而导致释放未初始化的 g_object 内存。这可能导致 tcmu-runner 进程意外终止。源代码已被修改,以跳过未初始化的 g_object 内存发行版本,从而导致 tcmu-runner 进程正常退出。
RADOS 块设备处理程序可以正确地解析配置字符串
在以前的版本中,RADOS 块设备(RBD)处理程序在解析配置字符串时使用 strtok() 函数,这不是线程安全。这会导致在创建或重新打开镜像时解析镜像名称的配置字符串。这会导致镜像无法打开。在这个版本中,RBD 处理程序使用 thread-safe strtok_r() 函数,从而能正确解析配置字符串。
4.10. Ceph Ansible 实用程序 复制链接链接已复制到粘贴板!
cephadm-adopt playbook 现在可在创建新 nfs-ganesha 池时启用池中的池应用
在以前的版本中,当 cephadm-adopt playbook 创建新的 nfs-ganesha 池时,它不会在池中启用池应用。这会导致一个池没有启用池应用程序的警告。在这个版本中,cephadm-adopt playbook 会在创建的池中设置池应用,在采用后不再发出警告。
cephadm-adopt playbook 不为多站点配置创建默认域
在以前的版本中,cephadm-adopt playbook 需要在采用过程中创建默认域,即使不存在多站点配置。
在这个版本中,cephadm-adopt playbook 不强制在没有部署多站点配置时创建默认域。
Ceph Ansible cephadm-adopt.yml playbook 可以使用主机的完全限定域名添加节点
在以前的版本中,使用 Ceph Ansible playbook 在 cephadm-adopt.yml playbook 中添加节点的任务是使用短主机名,且不会匹配节点的当前完全限定域名(FQDN)。因此,采用 playbook 会失败,因为找不到与 FQDN 主机名匹配。
cephadm -adopt.yml
在这个版本中,playbook 使用 ansible_nodename 事实而不是 as ble_hostname 事实,允许采用 playbook 添加配置了 FQDN 的节点。
Ceph Ansible cephadm-adopt playbook 现在可以成功拉取容器镜像
在以前的版本中,Ceph Ansible cephadm-adopt playbook 没有记录到要采用的存储集群中的容器 registry。在这个版本中,Ceph Ansible cephadm-adopt playbook 将登录到容器 registry,并如预期拉取容器镜像。
第 5 章 技术预览 复制链接链接已复制到粘贴板!
本节概述了此 Red Hat Ceph Storage 发行版本中引入或更新的技术预览功能。
红帽产品服务等级协议(SLA)不支持技术预览功能,且其功能可能并不完善,因此红帽不建议在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅 link:https:
bucket 粒度多站点复制 [技术预览]
在以前的版本中,zone group 中的所有存储桶都会镜像包含相同数据的副本。多站点数据流在区域内和区域之间发生。在这个版本中,存储桶细致的多站点复制可让您控制存储桶级别的数据流和复制。区域内的 bucket 可能包含不同的数据,也可从其他区域中的其他存储桶中提取数据。
在检索使用 S3 对象的数据时,记录如何通过逗号分隔的值(CSV)文件过滤内容[技术预览]
S3 Select Object Content API 现在作为技术预览支持。此 API 通过结构化查询语言 (SQL) 过滤 S3 对象的内容。在请求中,您必须指定数据序列化格式,它是 S3 对象的以逗号分隔的值 (CSV),才能检索指定的内容。AWS CLI 选择对象内容使用 CSV 格式将对象数据解析到记录中,并且仅返回查询中指定的记录。
5.1. Ceph 对象网关 复制链接链接已复制到粘贴板!
多站点复制设置中的 Ceph 对象网关现在支持 AWS bucket 复制 API 功能的子集
在这个版本中,Ceph 对象网关支持 AWS bucket 复制 API 功能子集,包括 {Put、Get, Delete} Replication 操作。此功能启用了 bucket-granularity 复制,还提供最终用户复制控制,同时注意当前,存储桶可以在现有 CephObject 网关多站点复制设置的区内复制。
KMIP-协议密钥管理服务器的技术预览支持
在这个版本中,KMIP-protocol 密钥管理服务器(如 IBM SKLM)提供了技术预览支持,因此扩展了 Ceph 对象网关托管加密功能中使用的流行密钥管理软件的范围。
5.2. RADOS 块设备 (RBD) 复制链接链接已复制到粘贴板!
基于 librbd PMEM 的持久性回写缓存,以减少延迟
在这个版本中,新的 pwl_cache librbd 插件提供了一个日志结构的回写缓存,面向 PMEM 设备,从而减少了延迟。镜像更新会按顺序批处理和清空,使实际镜像处于崩溃一致性状态。如果 PMEM 设备丢失,该镜像仍可访问,尽管它可能看起来已经过时。
对 rbd-nbd 设备的快照静止 hook 支持
在这个版本中,librbd API 提供了静默和不静默的 hook,以启用协调快照创建。rbd-nbd 守护进程可以选择冻结和解冻在映射的设备上挂载的文件系统,以创建文件系统一致的快照。可以通过编辑 rbd-nbd_quiesce shell 脚本或将其替换为自定义可执行文件来自定义此行为。
第 6 章 已知问题 复制链接链接已复制到粘贴板!
本节记录了本版本的 Red Hat Ceph Storage 中已知的问题。
6.1. Cephadm 实用程序 复制链接链接已复制到粘贴板!
在升级后,Red Hat Ceph Storage 中的 NFS-RGW 问题
建议使用 RGW-NFS 的客户将升级延迟至 Red Hat Ceph Storage 5.1。
ceph orch host rm 命令不会删除 Red Hat Ceph Storage 集群的主机中的 Ceph 守护进程
ceph orch host rm 命令不提供任何输出。这是预期的行为,以避免意外删除 Ceph 守护进程会导致数据丢失。
要解决这个问题,用户必须手动删除 Ceph 守护进程。按照 Red Hat Ceph Storage 操作指南中的使用 Ceph Orchestrator 删除主机部分中的步骤,以删除 Red Hat Ceph Storage 集群的主机。
即使从 Red Hat Ceph Storage 集群中移除,Ceph 监视器也会报告为 stray 守护进程。
Cephadm 将 Ceph 监视器报告为灰色守护进程,即使它们已从存储集群中移除。
要临时解决这个问题,请运行 ceph mgr fail 命令,该命令允许管理器重新启动并清除错误。如果没有待机管理器,ceph mgr fail 命令会使集群暂时无响应。
当 monitor 被移到没有 _admin 标签的节点时,Cephadm shell 的访问权限将会丢失
在 bootstrap 后,如果没有 _admin 标签,当 monitor 移到其他节点时,对 Cephadm shell 的访问将会丢失。要解决这个问题,请确保目标主机具有 _admin 标签。
如果没有备用 MDS 守护进程,使用 Cephadm 的 Red Hat Ceph Storage 升级会卡住
在升级具有现有 MDS 服务且没有活跃备用守护进程的 Red Hat Ceph Storage 期间,该过程会卡住。
要解决这个问题,请确保您在通过 Cephadm 升级前至少有一个备用 MDS 守护进程。
运行 ceph fs status FILE_SYSTEM_NAME。
如果没有待机守护进程,请添加 MDS 守护进程,然后升级存储集群。当存在待机守护进程时,升级可以正常工作。
ceph orch ls 命令不会列出可以在 Red Hat Ceph Storage 集群中创建的正确 OSD 数量
ceph orch ls 命令提供以下输出:
示例
ceph orch ls osd.all-available-devices 12/16 4m ago 4h *
# ceph orch ls
osd.all-available-devices 12/16 4m ago 4h *
根据上面的输出,四个 OSD 未启动,这是不正确的。
要解决这个问题,请运行 ceph -s 命令,以查看所有 OSD 是否都已启动并在 Red Hat Ceph Storage 集群中运行。
ceph orch osd rm help 命令给出了一个不正确的参数描述
ceph orch osd rm help 命令输出 ceph orch osd rm SVC_ID … [--replace] [--force] 参数而不是 ceph orch osd rm OSD_ID… [--replace] [--force]。这会在删除 OSD 时提示用户指定 SVC_ID。
要解决这个问题,请使用 OSD 身份 OSD_ID 参数来移除 Red Hat Ceph Storage 集群的 OSD。
可以启用配置参数 osd_memory_target_autotune
在这个版本中,osd_memory_target_autotune 默认被禁用。用户可以通过运行以下命令来启用 OSD 内存自动调节:
ceph config set osd osd_memory_target_autotune true
ceph config set osd osd_memory_target_autotune true
6.2. Ceph 仪表板 复制链接链接已复制到粘贴板!
在从 Red Hat Ceph Storage 仪表板上的存储集群中删除主机前,从主机中删除服务
在删除服务前删除 Red Hat Ceph Storage 仪表板的主机会导致主机处于过时、死机或 ghost 状态。
要解决这个问题,请手动删除主机上运行的所有服务,然后使用 Red Hat Ceph Storage Dashboard 从存储集群中删除该主机。如果您在不删除服务的情况下删除主机,则要再次添加主机,则必须使用命令行界面。如果您在不删除服务的情况下删除主机,则需要使用命令行界面再次添加主机。
用户无法在 Red Hat Ceph Storage 仪表板上创建子卷的快照
在这个版本中,用户无法在 Red Hat Ceph Storage 仪表板上创建子卷的快照。如果用户在仪表板上创建子卷的快照,则用户会收到 500 错误,而不是一个包括了详细信息的错误消息。
Red Hat Ceph Storage 仪表板仅显示由默认 CRUSH root 子级组成的 OSD
Red Hat Ceph Storage 仪表板考虑默认 CRUSH root 子进程,忽略其他 CRUSH 类型,如数据中心、区域、机架和其他类型。因此,仪表板上的 CRUSH map 查看器不显示不属于默认 CRUSH root 的 OSD。
Ceph 仪表板中存储集群的 OSD 的树视图现在类似于 ceph osd tree 输出。
用户无法使用 chrome 扩展或插件登录到 Red Hat Ceph Storage Dashboard
如果浏览器中使用的插件有 Chrome 扩展,用户将无法登录 Red Hat Ceph Storage 仪表板。
要临时解决这个问题,请清除正在使用中特定域名的 cookies,或使用 Incognito 模式访问 Red Hat Ceph Storage Dashboard。
Red Hat Ceph Storage Dashboard 上的图形不会被显示
Red Hat Ceph Storage Dashboard 上的图形不会被显示,因为 grafana 服务器证书在客户端计算机上不被信任。
要解决这个问题,直接在客户端互联网浏览器中打开 Grafana URL,并接受安全例外来查看 Ceph 仪表板上的图形。
在 Red Hat Ceph Storage 集群中管理 NFS-Ganesha 导出的方法不兼容
目前,Ceph 集群中有两种不同的方法来管理 NFS-Ganesha 导出:一个是使用仪表板,另一个则使用命令行界面。如果以某种方式创建导出,用户可能无法以另一种方式管理导出。
要临时解决这个问题,红帽建议遵循一种方法来部署和管理 NFS,从而避免潜在的复制或管理不可修改的 NFS 导出。
无法通过短主机名访问仪表板相关的 URL 和 Grafana API URL
要解决这个问题,请在 Red Hat Ceph Storage 仪表板的 Cluster 下拉菜单中单击 Manager 模块。将设置从短主机名 URL 更改为 FQDN URL。使用 ceph mgr module disable dashboard 命令禁用仪表板,使用 ceph mgr module enable dashboard 命令重新启用仪表板模块。
仪表板应该可以访问 Grafana API URL 和其他仪表板 URL。
Red Hat Ceph Storage Dashboard 不支持 HA-Proxy-RGW 服务管理
Red Hat Ceph Storage 仪表板不支持 Ceph 对象网关的 HA 代理服务。
作为临时解决方案,可以使用 Cephadm CLI 管理 HA proxy-RGW 服务。您只能在 Red Hat Ceph Storage 仪表板上查看该服务。
红帽不支持 Red Hat Ceph Storage Dashboard 上的后端的 Ceph 文件系统上通过 Ceph 文件系统进行 NFS 导出
红帽不支持通过 Red Hat Ceph Storage Dashboard 上的 Ceph 文件系统 (CephFS) 管理 NFS 导出。目前,支持通过后端中的 Ceph 对象网关导出 NFS。
6.3. Ceph 文件系统 复制链接链接已复制到粘贴板!
现在,回溯追踪(Backtrace)用于 CephFS 清理操作可以正常工作,
在以前的版本中,对于稳定存储,backtrace 被认为是无法写入的。如果回溯追踪与新的未同步条目的内存中副本不匹配,清理活动报告失败。由于无需将回溯追踪保存到磁盘,因此即将永久清除的 stray 条目也会发生回溯匹配的情况。由于持续的元数据 I/O,如果存在大量元数据 I/O,可能会发生原始统计不匹配的情况,因为原始统计核算不是即时的。
要解决这个问题,请在系统闲置时重新运行清理,并有足够的时间将内存中状态刷新到磁盘。因此,元数据被刷新到磁盘后,这些错误就会被解决。如果磁盘上没有找到回溯追踪并且文件是新的,并且条目将灰显并且即将清除,则回溯验证会成功。
如需了解更多详细信息,请参阅 KCS Ceph 状态显示 HEALTH_ERR,其中 MDS 报告损坏的元数据。
现在多个导出可以访问 NFS 挂载
在以前的版本中,当创建多个 CephFS 导出时,对导出的读/写操作会挂起。因此,NFS 挂载无法访问。为解决这个问题,Galnesha 版本 3.3-2 及以下支持单一导出。在这个版本中,在使用 Ganesha 版本 3.3-3 及更高版本时,支持多个 CephFS 导出。
cephfs-top 实用程序显示错误的挂载和缺少的指标
cephfs-top 实用程序需要一个比 Red Hat Enterprise Linux 8 当前随附的版本更新的内核。cephfs-top 实用程序需要一整套性能统计补丁。目前,这个已知问题还没有临时解决方案。
6.4. Ceph 对象网关 复制链接链接已复制到粘贴板!
版本化的存储桶的 LC 策略在 reshards 之间会失败
目前,LC 策略在版本化 bucket 上暂停和启用版本控制后无法正常工作,两者之间有重新定义。
radosgw-admin user stats 命令显示不正确的 size_utilized 和 size_kb_utilized 项的值
当用户在将存储桶添加到 Red Hat Ceph Storage 集群后运行 radosgw-admin user stats 命令时,输出中的 size_utilized 和 size_kb_utilized 字段中显示的值不正确;它们始终显示为零。
这个问题没有临时解决方案,用户可以忽略这些值。
6.5. 多站点 Ceph 对象网关 复制链接链接已复制到粘贴板!
🚧 [5.0][rgw-multisite][Scale-testing][LC]: Deleting 16.5M objects via LC from the primary, does not delete the respective number of objects from secondary. |
🚧 [rgw-multisite][swift-cosbench]: Size in index not reliably updated on object overwrite, leading to ambiguity in stats on primary and secondary. |
6.6. Ceph Ansible 实用程序 复制链接链接已复制到粘贴板!
从 Red Hat Ceph Storage 4 升级到 Red Hat Ceph Storage 5 后 rbd-mirroring 无法按预期工作
在将存储集群从 Red Hat Ceph Storage 4 迁移到 Red Hat Ceph Storage 5 后,cephadm-adopt playbook 不会启动 rbd-mirror。
要临时解决这个问题,请手动添加 peer:
语法
rbd mirror pool peer add POOL_NAME CLIENT_NAME@CLUSTER_NAME
rbd mirror pool peer add POOL_NAME CLIENT_NAME@CLUSTER_NAME
示例
[ceph: root@host01 /]# rbd --cluster site-a mirror pool peer add image-pool client.rbd-mirror-peer@site-b
[ceph: root@host01 /]# rbd --cluster site-a mirror pool peer add image-pool client.rbd-mirror-peer@site-b
如需更多信息,请参阅 Red Hat Ceph Storage 块设备指南中的添加存储集群对等章节。
目前,当在 Grafana 节点上启用仪表板时,cephadm-adopt.yml playbook 会失败
目前,cephadm-adopt.yml playbook 无法运行,因为它不会在仅使用 Ceph monitor 部署的节点上创建 /etc/ceph 目录。
要临时解决这个问题,请在运行 playbook 前在 Ceph 监控节点上手动创建 /etc/ceph 目录。验证 目录归 ceph 用户的 UID 和 GID 所有。
6.7. 文档的已知问题 复制链接链接已复制到粘贴板!
在 Red Hat Ceph Storage Dashboard 上管理 Ceph 文件系统快照的文档
有关此功能的详细信息将包含在下一版本的 Red Hat Ceph Storage 仪表板指南中。
用户在 Red Hat Ceph Storage 仪表板中管理主机的文档
有关此功能的详细信息将包含在下一版本的 Red Hat Ceph Storage 仪表板指南中。
用户即时导入 RBD 镜像的文档
rbd import命令的详细信息将包含在下一版本的 Red Hat Ceph Storage 块设备指南中。
第 7 章 过时的功能 复制链接链接已复制到粘贴板!
本节概述了在 Red Hat Ceph Storage 发行本的所有次版本中弃用的功能。
Ceph 配置文件现已过时
Ceph 配置文件 (ceph.conf) 现已被弃用,取代存储在 Ceph monitor 中的新的集中式配置。详细信息,请参见 Ceph 存储配置指南中的 Ceph 配置数据库章节。
Ceph 文件系统 (CephFS) 的 min_compat_client 参数现已弃用
对于 Red Hat Ceph Storage 5.0,min_compat_client 参数已弃用,并添加了用于设置 Ceph 文件系统 (CephFS) 的新客户端功能。详情请参阅 Red Hat Ceph Storage 文件系统指南中的客户端功能章节。
Ceph 文件系统子卷组的快照现已弃用
对于 Red Hat Ceph Storage 5.0 ,Ceph 文件系统 (CephFS) 子卷组的快照功能已弃用。可以根据需要列出和删除现有的快照。详情请参阅 Red Hat Ceph Storage 文件系统指南中的列出文件系统子卷组快照和删除文件系统子卷组快照部分。
Cockpit Ceph Installer 现已弃用
不支持使用 Cockpit Ceph 安装程序安装 Red Hat Ceph Storage 集群 5。使用 Cephadm 安装 Red Hat Ceph Storage 集群。详情请查看 Red Hat Ceph Storage 安装指南。
第 8 章 源 复制链接链接已复制到粘贴板!
更新的 Red Hat Ceph Storage 源代码软件包位于以下位置:
- 对于 Red Hat Enterprise Linux 8:http://ftp.redhat.com/redhat/linux/enterprise/8Base/en/RHCEPH/SRPMS/